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Вам будет полезен зтот доклад 


~ если вы работаете с геоданными в реальном времени 
~ = работаете с СР5-телеметрией 
Y He контролируете клиентские терминалы и их качество 


~ храните историю перемещений 
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Контейнер Сортировка Полигон 


Контейнер Сортировка Полигон 


Аналитика и мониторинг позволякт: 


Выявлять неоптимальные маршруты и расположения объектов инфраструктуры 
Находить нелегальные свалки 

Следить, чтобы не переполнялись легальные 

Выявлять непокрытые маршрутами районы и населенные пункты 


Разобраться в причинах невывоза мусора 
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Выявлять недостаточность контейнерных площадок 
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Очистка контейнеров 
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Компания «Большая тройка» 


БОЛЬШАЯ 
ТРОЙКА 


5 лет разрабатываем информационные сервисы в 
области экологии 


Случайный факт 


Разработанные электронные модели оптимизации территориальных схем дали 6 000 000 000 Р 
экономии в год для операторов в области обращения с отходами. 


Как результат 


Снижение тарифов для населения в 24 регионах РФ 
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Как зто работает 


машин объектов + 
(HL) HighLoad++ 
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Как это работает в некоторых регионах 


ооо ооо ооо ооо о ооо сво сос овосьное еу 


ГЛОНАСС, LTE модуль Плохой интернет 
GPS 
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Как мы это обрабатываем 15 
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Система 
Очереди > принятия решений, 
WebSocket 


40 000 Зоопарк 
машин протоколов 


- авторизация ClickHouse - обработка данных 
- валидация данньх - проверка прав 
- фильтрация 
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Что будем обсуждать 


• Проблемы входящего трафика 


е Проброс информации о передвижении до браузера 
клиента 


е Кластеризацию объектов, меняющихся во времени 
е Создание карты покрьтия 


• И при этом попробуем поменьше программировать =) 
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е Проблемы входящего трафика 


е Проброс информации о передвижении до браузера 
клиента 


е Кластеризацию объектов, меняющихся во времени 
е Создание карты покрьтия 


И при зтом попробуем поменьше программировать =) 
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Проблемы входящего СР5-трафика 
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Дублирующиеся 10 транспорта 
7 Устаревшие трансляции 
у Мусорные данные (непрерывный ddos) 


7 Потоки архивных данных 
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Въход 


е выделяем больше портов 


е выделяем еще больше портов! 
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Масштабирование на входе 


30001 > => 5 
Тестовьи режим 
30002 => ج ج‎ 
Haproxy / Traefik Боевой режим Приложение 
40000 > چ‎ Dev среды 
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• Проблемы входящего трафика 


е Проброс информации о передвижении до браузера 
клиента 


е Кластеризацию объектов, меняющихся во времени 
е Создание карты покрьтия 


И при зтом попробуем поменьше программировать =) 
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Снижение нагрузки на бзк 


Система 


40 000 Зоопарк 


машин протоколов 
р WebSocket 


- авторизация - обработка данных 
- валидация данньх - проверка прав 
- фильтрация 
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Geohash 
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Geohash 22 


Различные пропорции 


4, сегментов на проекции 
Меркатора 
4, Слишком большой шаг 


масштаба (1/24) 
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QuadHash 23 


/ Одинаковые пропорции и 
площади сегментов 


7 Шаг примерно равен шагу 
масштаба в leaflet 
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Используем геохзш в маршрутизации трафика 


У Вычисляем geohash входящей точки (344562...23) 
У Сообщение отправляем в обменник Rabbit с ключом 34.45.62....23 
У Клиент сообщает бэку, что смотрит конкретную зону (напр 3445) 


У (Сервер подписывается на очередь с маской 34.45.*.*.*.* 
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Получилось! 26 


40000 gy Зоопарк система 


машин протоколов 


Л Очереди [> принятия решений, 


WebSocket 


- авторизация - обработка данных 
- валидация данных - проверка прав 
- фильтрация 
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Проблема граничных переходов 27 
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• Проблемы входящего трафика 


е Проброс информации о передвижении до браузера 
клиента 


е Кластеризацию объектов, меняющихся во времени 
е Создание карты покрьтия 


И при зтом попробуем поменьше программировать =) 
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Кластеризация объектов в мониторинге 29 


Данные постоянно меняются 


e Кол-во точек 
• Расположение точек 
• Статистика событий по ним 
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Алгоритмы кластеризации 
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Алгоритмы кластеризации 
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Алгоритмы кластеризации 
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Алгоритмы кластеризации 
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Вывод: кластеризация динамических 
объектов - ресурсозатратна 


Класте ия Классификация 
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Геохзш-кластер 


Центр кластера 
с конкретным geohash 


У находим все точки в квадранте 
У выявляем центроид 
О 
У создаем кластер Фо? 
А 904 ) о о 
7 присваиваем ему хэш 00 O O 
O 
У для каждого нового собътия находим 


кластер по простому индексу 
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Срединное деление 
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Геохзш-кластер > Проблемы 


Проблема небольших 
остатков 
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Геохзш-кластер > Решение проблем 


Легко решаются Ha 


— 
фронте 
в зависимости от того, на 
что делаем акцент 
سے‎ 
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е Проблемы входящего трафика 


е Проброс информации о передвижении до браузера 
клиента 


е Кластеризацию объектов, меняющихся во времени 
е Создание карты покрьтия 


И при зтом попробуем поменьше программировать -) 
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Карта покрытия в реальном времени 
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3 вопроса к карте покрытия 
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Почему не использовать граф дорог? 


Стандартный расчет маршрута искажает 
реальность 


Не везде где проедет мусоровоз можно проложить маршрут. У 
нас есть, например, катера © 
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Может просто отобразить маршруты? 43 


255/24 МЬ 
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Возьмем 2 сходящихся маршрута 
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Которые хранятся в Click Ho use 


$= Lat + » Lon = 27 Timestamp : JF Тгаскегта $ 27 Qhash : 
1 66.53007998050425 66.67216595883299 2021-05-10 23:59:59 474625 10501115055010050120 
2 55,55245942198655 37.54408260284552 2021-05-10 20:02:31 43886549 10231012121122301013 
3 55.91055554075061 57.41963573205742 2021-05-10 20:02:31 39141047 102310101223351222020 
4 55.91123198529501 37.423530551005044 2021-05-10 20:02:31 34883194 10231010122331221213 
5 55 .62837598743578 37 .019855495779744 2021-05-10 20:02:31 33820877 10251010252100510502 
6 55.91226958108886 37.42153167664575 2021-05-10 20:02:31 33389063 10231010122331202332 
7 55.6281966985269 37.02035903861289 2021-05-10 20:02:31 31137720 10251010252100510521 
8 55.912971481660605 37.83488460300371 2021-05-10 20:02:31 265008758 10231010153221313032 
9 55.96500594771923 37.76232146140242 2021-05-10 20:02:30 43842005 102310101352112322310 
10 55.706321714843234 36.22223660727549 2021-05-10 20:02:30 37568167 10231001330002122222 
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Вариант 1 - простая группировка 
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Вариант 1 — простая группировка 
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Вариант 2 - достаем из БД ребра графа 


Вариант 2 - достаем из БД ребра графа 


Вариант 2 - достаем из БД ребра графа 


Вариант 2 - достаем из БД ребра графа 


select 
hash, Запросим упорядоченные линии 
if (prev_tracker != tracker, null, prev_hash) 
from ( маршрутов 
select (точки и их хэши) 
d.TrackerId as tracker, 
neighbor(d.TrackerId, 1) as prev_tracker, 
а.аһаѕһ as hash, 
neighbor(hash, 1) as prev_hash 
From ( 
select TrackerId, Lat, Lon, substr(Qhash, 1, %(zoom)s) as ghash 
from routes 
order by TrackerId, Timestamp 
) d) 
group by 


hash, prev_hash 
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Вариант 2 - достаем из БД ребра графа 


select 
hash, Создадим ребра между каждой 
if (prev_tracker != tracker, null, prev_hash) S 
from ( napon точек, отметим те, у которых 
select точки от разных автомобилей 
d.TrackerId as tracker, 
neighbor(d.TrackerId, 1) as prev_tracker, 
а.аһаѕһ as hash, 
neighbor(hash, 1) as prev_hash 
From ( 
select TrackerId, Lat, Lon, substr(Qhash, 1, %(zoom)s) as ghash 
from routes 
order by TrackerId, Timestamp 
) d) 
group by 


hash, prev_hash 
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Вариант 2 - достаем из БД ребра графа 


е ес | Удаляем повторяющиеся ребра, 
ash, 
if (prev_tracker != tracker, null, prev_hash) получаем парь! 
ко а hash -> b_hash, остается только 
select 
d.TrackerId as tracker, найти их центроиды 
neighbor(d.TrackerId, 1) as prev_tracker, 
а.аһаѕһ as hash, 
neighbor(hash, 1) as prev_hash 
From ( 
select TrackerId, Lat, Lon, substr(Qhash, 1, %(zoom)s) as ghash 
from routes 
order by TrackerId, Timestamp 
) d) 
group by 


hash, prev_hash 
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достаем из БД ребра графа 
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Вариант 3 - используем средние координаты 
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Вариант 3 — используем средние координаты 


select а lat, а 1оп, b lat, Б Топ from <prev_query> $ и 
Накладываем на предыдущий 


inner join (select вариант средние точки маршрутов 


avg (Lat?) аз а 1а, ауе( оп”) as а lon, по всем транспортным средствам 
substr(Qhash, 1, %(zoom)s) as hash 


from routes 


group by hash) d on d.hash = s.hash 
outer join (select 


аме( Lat ) as b_lat, avg( Lon ) as b_lon, 
substr(Qhash, 1, %(zoom)s) as hash 


from routes 


group by hash) b on b.hash = s.prev_hash 
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Вариант 3 - используем средние координаты 57 
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Вариант 3 – Проблемы 


Незакрытые петли 
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Вариант 3 - Проблемь 


Ложный ответ про маршрут «из зоны в зону» 
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Карта покрытия — итоги 


Вариант 2 Вариант 3 


Вариант 1 


Есть ли покрытие в конкретной зоне 


Где конкретно кончается маршрут 


Есть ли маршрут из зоны в зону* 
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Включаем кзширование 


Тоже по геохзшам 


А HighLoad+ 
(HL) Де дете 


Что и как мониторить в телеметрии 


е Объемы трафика 

e Кол-во пакетов 

е Кол-во ошибок валидации протокола 
е Запаздывание пакетов 

• Очереди 
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В общем, как работать с геоданными в реальном времени: 


Выделяйте как можно больше портов 
Считайте geohash при записи в БД 
Отдавайте маршрутизацию на уровень очередей 


Не используйте стандартный геохеш и кластеризацию 


Используйте clickhouse для хранения маршрутов 
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Спасибо 
за внимание! 


Егор Маслов 


Telegram: @gvamm3r 


gvamm3r@ gmail.com 
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